Evaluar revistas científicas: un afán con mucho presente y pasado e incierto futuro

This chapter analyses the reasons behind the evaluation of scientific journals in all scientific fields, especially activities aimed at assessing the performance of scientists. Secondly, it describes the methods, procedures and criteria that can be used to evaluate scientific journals. This section establishes a two-dimensional approach to evaluating journals: as a scientific communication method and as a social institution that represents a community of scientists. It considers a number of evaluation criteria for each dimension. With respect to the first dimension, which is designed to assess the editorial quality of a journal, the indicators analysed include compliance with regulatory standards, management of the editorial process, visibility and accessibility, use, impact, reputation and quality of content. In terms of the second dimension, the most appropriate method for gaining an insight into a journal is bibliometrics, and the key indicators that can be used include production, authorship, collaboration, topic, analysis of references and social networks

The Google Scholar Family: ¿Is it an alternative for the evaluation of science?

Contiene la ponencia presentada en el IV Seminario EC3: Altmetrics y unidades de Bibliometría, celebrado en la Universidad de Granada los días 14 y 15 de marzo de 2013.Tras marcar las acusadas diferencias existentes entre los sistemas tradicionales de información y medición científica (Thomson Reuters con su Web of Science y JCR; Elsevier con Scopus y SJR) y GS (Google Scholar), se desvelan las razones que explican la siguiente paradoja: ¿Cómo siendo tan distintos estos dos mundos pueden ofrecer unos resultados bibliométricos tan idénticos? Se ilustra este fenómeno con los resultados de varios estudios empíricos de ranking de revistas con muestras de diverso tamaño y naturaleza realizadas por el grupo EC3. El porqué de esta similaridad entre productos tan diametralmente divergentes no es otra que su composición: GS, cuyo motor rastrea la red científica y académica sin descaso, incluye en su seno todo el mundo tradicional (cerrado y controlado) al cual añade el mundo abierto y libre que circula en el espacio académico. Se sostiene que hoy día GS es, como fuente de información científica, una seria alternativa a las bases de datos tradicionales y se defiende que los productos bibliométricos derivados del mismo, y en concreto, los rankings de revistas (Google Scholar Metrics) ofrecen resultados tan solventes, fiables y válidos como los ofrecidos por JCR (Journal Citation Reports) o SJR (Scimago Journal Rank). En definitiva, se apuesta por Google Scholar como fuente para la medición científica. Las razones: mide más, pues abarca muchos más documentos (su tamaño duplica o triplica según áreas a sus competidores), es capaz de trabajar con grandes números (sus indicadores bibliométricos alcanzar más tamaño). Mide mejor porque cubre todo tipo de documentos, porque carece de los sesgos geográficos y lingüísticos de que adolecen los sistemas tradicionales. Crece más y lo hace de manera más rápida y sus resultados son estables en el tiempo y ofrecen un margen de error más que tolerable, producto de la falta de control técnico de la información. Es capaz de ofrecer luz donde antes solo existían tinieblas (Humanidades y Ciencias Sociales) Los dos grandes peligros o amenazas para las nuevas herramientas, no son científico ni técnicos, como pueden creer muchos científicos, sino humanos: por un lado, el principal enemigo es su propio creador (Google) que despreciando la exigencia de transparencia propia del ethos científico hace depender a sus productos de su caprichosa y entera voluntad. Por otro, la facilidad con que se pueden manipular sus datos. Desde el momento en que GS automáticamente rastrea, indiza y vacía cualquier documento de apariencia científica que cuelga de un dominio académico por voluntad de un autor sin sufrir ningún control externo previo (el de los repositorios es solo un filtro técnico que no opera sobre los contenidos) abre la posibilidad a que cualquier persona sin escrúpulos pueda manipular a su entero gusto y beneficio documentos que repercuten directamente sobre la evaluación de su producción e impacto bibliométrico. Poner en manos de todos los científicos, que son humanos, las herramientas que permiten manipular la producción y las citas pueden tener consecuencias imprevisibles o pueden convertir a estas herramientas en inservibles.EC3: Evaluación de la Ciencia y de la Comunicación Científic

The Google Scholar Revolution: Opening the academic Pandora's box. The transformation of scientific communication

The transformation of scientific communication From the Gutenberg Galaxy to the Web Galaxy The Google Scholar Revolution An alternative model of publication and communication? Research evaluation: A determining factor for academic communication practices From Bibliometrics To Webometrics - Altmetrics ALLMETRICS: The measuring of Science Gamification of the scientific endeavour Will the metric become an end in itself? New “scientific illnesses” impactitis, egotitis

Otras realidades, otros impactos, otras métricas: la nueva bibliometría

Conferencia impartida en V Jornadas –Taller de formación sobre libro electrónico organizado por la Unión de Editoriales Universitarias Españolas en Madrid, 1 de junio de 2015¿la medida alterará el fin mismo de la ciencia? ¿Un inquietante futuro? Un día en la vida de Chris - Cuando se despierta, Chris Dancy analiza los datos que ha registrado su colchón mientras dormía para saber si se ha movido, ha hablado en sueños o ha rechinado los dientes. - Toda su vida está vigilada, hasta el sexo. Por eso, Chris pide a sus parejas que registren y midan su propia actividad en sus encuentros amorosos. Algunas aceptan; otras, no. Al menos, tiene la caballerosidad de no contarles los resultados. - Si va a un restaurante o a un concierto, le piden que se quite sus Google Glass. «Pero nunca me piden que me quite la cámara que llevo sobre la cabeza». - Su correo electrónico también está sometido a análisis, así como la cisterna del cuarto de baño o el armario de las medicinas. - En la actualidad, varias firmas de electrónica le pagan para estudiar esta 'vida vigilada'. Los dispositivos que lleva en su cuerpo Google Glass. Dispositivo de visualización, parecido a unas gafas de realidad aumentada, que se controla con la voz, con funciones similares a las de un smartphone. Cámara narrativa. Suele llevarla en la cabeza y, cada dos segundos, toma fotografías que envía al smartphone. Wahoo Blue HR. Monitor que, instalado bajo la camiseta, controla su frecuencia cardiaca. Brazalete FitBit. Sus sensores miden el rendimiento físico y almacenan sus datos. Se conecta a un ordenador mediante USB. Controlador de actividad JawboneUp. "Lo empecé a utilizar en mayo. Relaciona las estadísticas de tu conducta con las de tus movimientos físicos", explica. Pulsioxímetro. Lo utiliza una vez al día para medir el nivel de saturación de oxígeno en su sangre. Body Media FIT. Banda para el brazo dotada de sensores que miden el rendimiento del cuerpo, dormido o durante la vigilia. Relojes inteligentes Pebble y Samsung Gear. Almacenan los datos procedentes del resto de los sensores. Lumoback. Se coloca en la cintura. Analiza la postura del cuerpo y emite una señal cuando este no está equilibrado. iPhone 5S. Lo utiliza, sobre todo, para recoger y almacenar informaciones personales. Y en su casa tiene además... Netatmo: mide el ruido, la calidad del aire y la temperatura de su casa. WeMo: detecta el movimiento y enciende y apaga los dispositivos electrónicos a distancia. Aria: mide las ondas Wi-Fi. Hue: combate el efecto dañino de las ondas Wi-Fi. Tagg: vigila la actividad de sus perros. NetGear VueZone: sistema de vídeo que graba la actividad en el hogar. Thermostat Nest: regula la temperatura por Wi-Fi. Nest Protect: detector de gas. Beddit: colchón inteligente que mide la calidad del sueño. Automatic: analiza su conducción. Estimote: información sobre los objetos de su hogar. Cube Sensors: controla el ruido, la humedad y la presión atmosférica de la casa.1. La medida de la ciencia2. Hitos históricos evaluación bibliométrica De la Bibliometrics: la evaluación de unos pocos, por unos pocos y para unos pocos A la Webmetrics y a la Altmetrics: La popularización y democratización de la evaluación científica La evaluación de todos, por todos, para todos, de todo, a todas horas y en todos los lugares3.La nueva bibliometría: 3.1 Otras realidades - Nuevos medios de comunicación Los sitios web - Nuevos medios de comunicación Blogs - Nuevos medios de comunicación Twitter - Nuevos medios de comunicación Presentaciones - Nuevos almacenes de información bibliográfica: los repositorios - Nuevos almacenes de información bibliográfica : los gestores de referencias bibliográficas - Las redes sociales científicas 3.2 Otros impactos Otras métricas - Midiendo el impacto de los sitios web - Midiendo el impacto de un Blog - Midiendo el impacto en Twitter - Midiendo el impacto de las presentaciones - Midiendo el impacto de los documentos indizados en los repositorios - Midiendo el impacto de los documentos indizados en los nuevos almacenes de información bibliográfica : los gestores de referencias bibliográficas - Midiendo en las redes sociales científicas 3.3 Otras herramientas - Construyendo rankings web. Nivel macro, Nivel micro (Google Analytics) - Google Scholar: la nueva "casa de citas" - LOS DERIVADOS BIBLIOMÉTRICOS DE GOOGLE SCHOLAR Google Scholar Metrics, Google Scholar Citations 3.4 ¿Qué futuro aguarda a los nuevas métricas?, ¿Cuál es el futuro de los nuevos medios de comunicación?, ¿Cuántos documentos posee las nuevas métricas? - ¿Qué sabemos de las nuevas métricas? El sentido común Evidencias empíricas - ¿Para qué los nuevos indicadores? - ¿Qué impacto miden? Científico Profesional Educativo Social - ¿Qué sabemos de Google Scholar como fuente de evaluación científica?4. Los riesgos de la nueva bibliometría - Problemas: La FUGACIDAD - The Googledependency Problemas: La dependencia tecnológica - El gran peligro: La MANIPULACIÓN - ¿Se convertirá la métrica en un fin en sí mismo?Unión de Editoriales Universitarias Españolas(UNE); Consejo Superior de Investigaciones Científicas (CSIC

Cómo solicitar los sexenios de investigación en Ciencias Sociales: criterios, procedimientos y herramientas

Universidad San Jorge, Zaragoza, 29 de noviembrede 2016Se presentan las diapositivas correspondientes al curso impartido en la Universidad de San Jorge sobre solicitud de sexenios de investigación: indicadores de calidad y herramientas de evaluación". Se repasan cuales son la filosofía y principios que rigen el sistema español de evaluación científica, centrándose en los criterios empleados en la concesión de sexenios (CNEAI). Posteriormente se repasan todas las herramientas que pueden ser utilizadas para demostrar los indicios de calidad de las publicacione

Evaluación pasada, evaluación presente, ¿evaluación futura?

Universidad Pablo de Olavid

Evaluación de la actividad investigadora

Se presentan las diapositivas correspondientes a la charla impartida en la Universidad de Granada el 17 de diciembre de 2013 en las V Jornadas de Acogida para el Profesorado Universitario de nueva incorporación. Se repasan cuales son las instituciones, la filosofía y principios que rigen el sistema español de evaluación científica, centrándose en los criterios empleados en España para realizar la evaluación de la actividad investigadora de los profesorado. Posteriormente se ofrecen unas recomendaciones para sobrevivir en este cada vez más competitivo mundo universitario.Vicerrectorado para la Garantía de la Calida

Viejas novedades en Google Scholar

Tras describir someramente el proceso de indexación de documentos en Google Scholar, se explica cómo se posicionan los documentos en el buscador académico y se repasan los criterios de inclusión de revistas en Google Scholar Metrics. Se concluye opinando sobre el uso o no de Google Scholar Citations para elaboar perfiles bibliográficos de revista

Sexenios 2015: pocos cambios pero incisivos

2ª edición, 30 diciembre 2015Se hace un repaso a la normativa aprobada por la CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora) que regula los criterios específicos de evaluación que regirán en la concesión de sexenios de investigación de 2015, normativa publicada en el BOE de 30 de noviembre de 2015). Se identifican y glosan los cambios introducidos en la nueva convocatoria. Los cambios, pocos pero incisivos, afectan tanto al tipo de aportaciones que pueden someterse, a los criterios de evaluación, a los indicios de calidad como a las fuentes que pueden emplearse para valorar las publicaciones así como en otros ámbitos como la autoría.1. Introducción2. Autoría3. Aportaciones: tipología y características3.1 Artículos de revista3.2 Libros y capítulos de libros3.3 Comunicaciones a congresos3.4 Patentes3.5 Creaciones artísticas4. Criterios de evaluación e indicios de calidad5. Fuentes y herramientas de información y evaluació

Sexenios 2019: la transferencia se independiza, los rankings de revistas arriban al Derecho y siguen penetrando en las Humanidades y Ciencias Sociales

Se hace un repaso a la normativa aprobada por la CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora) que regula los criterios específicos de evaluación que regirán en la concesión de sexenios de investigación de 2018, normativa publicada en los BOE de 26 de noviembre y 11 de diciembre de 2019. Se identifican y glosan los cambios introducidos en la nueva convocatoria. La principal novedad ha consistido en la separación de la evaluación de la transferencia de conocimiento e innovación, que será objeto de una convocatoria independiente en el año próximo. Por otro lado, resulta relevante destacar que por primera vez desde la creación de los sexenios se incluye en Derecho una mención expresa a rankings de revistas a emplear para respaldar la calidad de las publicaciones, algo que ya ocurrió en años anteriores en las Humanidades; campos en que siguen penetrando esta filosofía y nuevos productos. No habiendo cambios en el número y tipo de aportaciones para obtener el sexenio se mantiene la idea de flexibilizar al máximo la rigidez de los requisitos mínimos para obtener una evaluación favorable. Los cambios se han centrado sobre todo en las áreas de Ciencias Sociales y Humanidades; son casi imperceptibles y afectan tanto al tipo de aportaciones que pueden someterse y a la interpretación general de los criterios de evaluación. Como ya se ha indicado es en las fuentes que pueden emplearse para valorar las publicaciones donde más modificaciones se han introducido